Meta 原本預告 5 月推出最新一代生成式 AI 大語言模型 Llama 3,不過 Meta 昨日提前發表,而且是包含數種規模的 Llama 3 家族。此外也公佈了使用新模型的 AI 助理 Meta AI,包括新增的網頁版本。
本文目錄
Meta Llama 3
昨日 Meta 公佈了 2 個模型,其他則會在日後陸續推出。最新模型包括 80 億參數及 700 億參數的 Llama 3 8B 與 70B 。 Meta 指出,新模型是以 2 組 2.4 萬顆 GPU 叢集訓練而成,是當今效能最好的 AI 模型。 Meta 說,Llama 3 正在開發的下個版本將達到 4,000 億參數。
這是 Meta 緊鑼密鼓推進 AI 開發的成果。兩周前 Meta 才公佈了自製 AI 晶片 MTIAv2 。
Meta 公佈 Llama 3 在多個標竿測試的成果。例如在衡量語言理解力的 MMLU 、技能學習 ARC 、文字理解 DROP 、生物化學類 GPQA 、程式撰寫 HumanEval 、回答應用題 GSM-8K 、數學 MATH 等項目上,Llama 3 8B 擊敗 Mistral 7B 及 Google Gemma 7B 。而 Llama 3 70B 和 Google Gemini 1.5 Pro 比較則有 2 負 3 勝的結果。
除了在效能上加強,Meta 也為 Llama 3 開發實際應用場景的評估工具,涵括 12 類應用情境如尋求建議、摘錄重點、腦力激盪、分類、創意寫作、改寫、寫程式、創作角色等。 Meta 並列出了 Llama 3 70B 和 Claude Sonnet 、 Mitral Medium 及 GPT 3.5 較量的結果(當然是 Llama 3 贏)。
為了讓更多開發人員試用,Meta 也改版了開發工具如 Llama Guard 2 、 Code Shield,並新增推論時間護欄工具 CyberSec Eval 2,可篩選掉 LLM 生成的不安全程式碼。此外也和函式工具商 torchtune 合作,如果用後者的開發工具在 Llama 3 開發,將會有更清楚的開發指導。
Meta 表示,Llama 3 未來會陸續在雲端或其他平台上開放給其客戶,包括 AWS 、 Databricks 、 Google Cloud 、 Hugging Face 、 Kaggle 、 IBM WatsonX 、 Snowflake 及 Microsoft Azure 、 NVIDIA NIM 。 Llama 3 也獲得主要伺服器及晶片業者支援,如 AMD 、 AWS 、 Dell 、 Intel 、 NVIDIA 和 Qualcomm 。
Meta 預告,接下來會為 Llama 3 提升包括理解及程式撰寫的效能,並增加多語、多模支援,擴大 context windows(可讓和用戶對話更流暢,更個人化)。
Meta AI
同一天,Meta 也公佈以 Llama 3 為基礎的 AI 助理 Meta AI 。
Meta AI 去年 9 月在美國推出,可讓用戶聊天或瀏覽臉書時問問題、搜尋或製作表情、動畫。現在 Meta AI 整合到旗下服務如 IG 、臉書、 WhatsApp 、 Messenger 等搜尋列,讓用戶聊天時可直接呼叫 Meta AI,也會進駐臉書主頁面。此外,Meta AI 也有了網頁版,可在獨立網頁 meta.ai 使用。這將讓 Meta 正式挑戰 OpenAI 的 ChatGPT(如果底層模型一樣好的話)。 Meta 並為 Meta AI 在 WhatsApp 及 Meta AI 網頁版提高圖片生成速度,讓用戶可以在聊天時加入可愛表情或動畫,可能很快就會推到 IG 、 Messenger 。
而除了美國市場,Meta AI 現在也推向澳洲、加拿大、紐西蘭、新加坡、牙買加、巴基斯坦及數個非洲國家。
來源:Meta
